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人 工 知能 (Al) の 研究 開発 が 飛躍 的 nes Ua Eo E 
様変わり する 過程 に お いて 人 々 の 期待 が 急速 に 変化 し て いま す 。 い つか Al が あら ゆる 
業界 に 影 因 を 与 る よう つの 2 る / ろく trae ees Sole eee 
リ つ つ あ り ま す 。3 金融 サー ビス か ら と 医療 な どの さま ざま な 分 野 で 、 顧 客体 験 の 向上 や 競 
争 力 強化 の た め 、 ま た 以前 な ら ば 解決 が 難し か ぅ だ 問題 へ の 対処 の た め Z ADe eE: 
す 活 用 され て いま す 。 た と えば Al に より 、 医 学研 究 者 は 衰弱 症状 が 発生 する 何 年 も 前 に 
早期 アル ツ ハ イマ ー 病 を 診断 で きる よう 5 に な っ て いま す 。! ま た 、 環 境 学 が 膨大 な デー 
タ セ ッ ト を 分 析 す る 上 で も 役立っ て お り 、 絶 滅 の 危機 に ある 生息 地 の 保護 や 、 マ ラウ イ 
で の 象 の 密猟 阻 上 に 対す る 取り 組み の 効果 を 、 容 易 に 追跡 する こと が で きる よう に な っ 
で いい まゆ 2 
本 レポ ー ト で 使用 する 「 人 工 知能 」 と は 、 機 械 学習 ア 一 方 、 あ ら ゆ る 業界 で Al の 利用 が 急増 し て いる こと 
ル ゴ リ ズム を 組み 込ん だ シス テム を 指し ます 。 こ の ア か ら 、 テ クノ ロジ ー の 設計 や 使用 に つい て 、 ま た 社会 
ル ゴ リ ズム は 大 量 の 訓練 デー タ を 分 析 し て 、 相 関 関 に も た らし うる 潜在 的 リス ク を 考慮 し て 運用 する た め 
O a E に どの よう な 対策 を 行う か に つい て 、 問 題 が 提起 さ 
也 の メタ デー タ を 特定 し て 、 将 来 の デー タイ ンプ ッ ト ë れ て いま す 。 
こ 基 づい て 予想 や 推奨 を 行う た め の モ デル を 開発 aa A! た 
TARIE 、 使 EAZ PTER ee zi # 開発 YA の 高い 意思 決定 を す Ay Catia Pele 
機械 学習 を 使用 し て Seeing All と いう アプ リ を 作 を 使用 する こと は 、 機 会 を 得る の と 同時 に リス ク を 取 
成 し ま し た 。 こ の アプ リ は 、 画 像 中 の オブ ジェ クト に る こと に も な り ま す 。 一 方 で 金融 機関 で の Al 導入 に つ 
声 に よる 説明 を 加え る も の で 、 目 の 不 自由 な 人 が 外 いて は 、 デ ー タ に 基づく 、 人 間 に よ る パイ アス の 影響 
出す る 際 の 手助け に な っ て いま す 。3 こ の アプ リ の ユ を 受け に くい 意思 決定 方 法 を 取り 入れ る こと で 、 差 
= ES マー ga H し て 画像 を 撮影 す る BID La L ERN $ 
ENERO 710 ARITZ FARE か ら 得 て い る デー タ に 比べ て 、 よ り 多く の 
| ター の 視覚 モデ ル を 開発 する た め 、 一 般 的 に 入手 可 データ を 分 析 で きる よう に な り ま す 。 そ の 結果 、 歴 史 
能 な 、 樹 木 、 道 路 標 識 、 風 景 、 動 物 な ど 身 の 回 り の オ 的 に 貴 外 され て きた コミ ュ ニ ティ の 人 々 が 貸し 付け を 
| 。 フジ ェクト が 写っ た 何 百 万 も の 画像 か ら 得 た デー タ 受け た り 、 住 宅 を 確保 する 機会 が 増え る と 考え られ ま 
を 用 いて 、 シ ステ ム の 訓練 が 行わ れ ま し た 。 ユ ー ザ ー す 。 同 時 に 研 2 TEBA A ム の 設計 、 開 発 お 
が 新しい 画像 を ア AON I Ae. Seeing Al は その よび 導入 に お ける 欠陥 が 、 既 存 の 社会 的 バイ アス を 
| 像 と 訓練 デー タ で 学習 し た バタ ー ン や 相関 と を 比 長期 化 (さら に は 悪化 ) さ せる 可能 性 が ある と 警鐘 を 
し て 、 画 像 中 に どの よう な オプ ジェ クト が ある か を 鳴ら し て いま す 。? 
eles, 
o > a 
o ゅ o o 
TEE 
0 

































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































www.bsa.org e 





























































































































































































































































































































バイ アス に 挑む :Al の 信頼 性 

















その た め 、Al バ イア スリ スク を 特定 し て 軽 


築 に 向け た BSA の フレ ー ム ワー ク 











減 する 仕 























HAO RAIL, HES 
され て いま す 。 こ こ 数 年 間 に 行 
こよ り 、 組 織 の ベス ト ・ プ ラク ティ ス 、 ガ バナ 
措置 、 お よび Al の ライ フサ イク ル 全 体 
に わた っ て バイ アス リス ク を 管理 する 上 で 役立つ テ 














と し て 活 
大 な 研究 


























ALO RE 












































も の で す 。 ま た これ に より 、 ハ イリ スク な A シス テム 






































や 記 の 専門 家 に と っ て の 重点 分 野 
われ た 膨 











が 設計 、 開 発 、 試 験 の 後に 導入 され 、 危 害 の リス ク を 
軽減 する た め の 十 分 な 防御 対策 も 講じ られ て いる と 
の 信頼 性 を 高め る こと が で きま す 。Al の 影響 評価 は 、 
透明 性 を 保つ 仕組 み で も あり ます 。 こ れ に より 、Al シ 





































































































クニ カル ツー ル が l 








の 静 的 評 








に より 


























量 広 く 特 定 さ れ ま し た 。Al モ 


























Al シス J LAE at 








デル 


7) に 導 人 され た 


際 に 生じ うる 潜在 的 な 問題 が すべ て カバ ー さ れる わ 
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ス に よる 











de 継続 THY 











され た 通 ! 











サイ クル を 通し た 対 





¡PES 














ませ ん 。 そ の た eas は 、Al バ イ 
リス ク を 軽減 する た め に は 、 コ 





エン ド ユ ー ザ 
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意見 が 一 致 





し て いま す 。 





リン グ ete BY 
こ 動 いて いる こと を 確認 する な ど 、 ラ イフ 
策 を 取る 必要 が ある と の 考え で 
































> こ 、Al の 影 



















































































組み と な り 、 説 明 責 人 





L% i 





ステ ム の 設計 、 開 発 、 導 入 に 関わ る 多く の 潜在 的 な 
利害 関係 者 が リス ク に つい て 話し 合い 、 リ スク 軽減 
の た め の 責 任 を 明確 に 理解 する こと が で きま す 。 

























































































Al の 影響 評価 を 行う た め の プ ロ セ ス の 確立 に 加え 
て 、 バ イア スリ スク 管理 の フレ ー ム ワー ク に は 次 の よ 
うな 事項 が 含ま れ ま す 。 


Al リス ク 管 理 プ ログ ラム を 効果 的 に 実施 し 、 支 援 
する 上 で 必要 と な る 、 企 業 ガ バナ ンス の 重要 な 
仕組 み 、 プ ロ セ ス 、 保 護 措置 を 提示 し ます 。 































































































Al シス テム の ライ フサ イク ル を 通し て 発生 する お 
それ の ある 、Al に 固有 の バイ アス リス ク を 軽減 3 

る た め の 、 既 存 の ベス ト ・ プ ラク ティ ス 、 テ クニ カ 

ルツ ー ル 、 リ ソー ス に つい て 確認 し ます 。 
















































































この フレ ー ム ワー ク は 公平 性 、 透 明 性 お よび 説明 責任 を 促進 する リス ク 管 理 
プロ セス を 通じ て 、 組 織 が AlI シ ステ ム へ の 信頼 性 を 高め る た め に 使用 で きる 


柔軟 な ツー ル と な る こと を 目的 と し て いま す 。 





BSA | The Software Alliance 
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本 レポ ー ト で 使用 する 「Al バ イア ス 」 と いう 用 語 は 、 特 定 の 属性 を 持つ 人 々 に 対し て シス 
二 ム 的 かつ 不当 に Taba, A iota Ss ioe Bie ee IAT Aes 
LeTo 


























































































































¡Bas 

















機械 学習 の 目標 は 、 過 去 の 事例 か ら 一 般 化 され た E じ ます 。Al が 業務 プロ セス に 搭載 され 、 人 々 の 生活 
電 則 を 導き 出す モデ ル を 構築 し 、 将 来 の デー タイ ン に 多大 な 影響 を 持つ 現在 、「 バ イア ス を 持っ た 」 シ ス 
プッ ト を 予測 する こと で す 。 た と えば ば 、 植 物 を 識別 す テテ ム に より 、 歴 史 的 に 貴 外 され で きた コミ ュ ニ ティ の 
る た め に 設計 され た 画像 認識 シス テム は 、 多 様 な 人 々 が シス テム 上 、 不 利 な 立場 に 置か れる リス ク が 
種類 の 植物 が 一 つ ひ と つ 写 っ た 大 量 の 画像 を 読み あり ます 。Al バ イア ス が 発生 する 可能 性 が ある の は 、 
込む こと で 訓練 され る と 考え られ ます 。 こ の シス テム 正確 性 に 欠け る シス テム 、 ま た は 人 種 、 性 自認 、 性 的 
は 、 そ れ ぞ れ の 品種 の 画像 に 共通 する 一 般 的 な 規 指向 、 年 齢 、 宗 教 、 障 害 の 有無 な どの (これ ら に 限ら 
則 ( 葉 模様 な ど ) を 探し て 、 そ れ に 基づき モデ ル を * abeno eo OS, 人 々 が 在 利 に な 
築 す る こと で 、 新 し い デ ー タ イン デット (ユー ザー が 提 。 る 上 う な 判断 を する シス テム で す 。 
供し た 画像 ) に 、 識 別 訓練 され た 品種 が 含ま れ て いる 
か を 評価 で きる よう に な り ま す 。 つ まり 機械 学習 は 、 
将来 の デー タイ ンプ ブッ ト を 予測 する た め に 過去 の デ 

タ に 基づい た 一 般 化 を 行う も の で す 。 し か し 、Al を 
使用 し て 人 間 の 行動 を キモ デル 化す る 場合 、 意 図 し な 
EAS Alo OU CON a OS 
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バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 


AI バイ アス の 原因 と 種類 


Al バイ アス は 、A 
設計 の 初期 段階 で 行わ れ た ジ 




















問題 形成 バイ アス : 場 








の ライ フサ イク ル の さ 』 





E ざ まな 段階 
R 定 が 、 次 の よう な バイ アス を も た ら す 可能 性 が あり ます 。 


























Cn 
(て 


生 が あり ます 。6Al シ ステ ム の 構想 




















で 組み 込ま れる 可能 














ス が あり 、 ど の よう な a 般 展 開 に ! 


EXAMPLES 
































2016 年 、 上 海 交通 大 学 の 研究 















































に よっ て は 、 ll Al シス テム の 根本 と な る 基本 的 な 仮定 に 本 質 的 な バイ ア 
ょ 適さ な いこ と が あり ます 。 











た ち が 、 顔 認証 シス テム に よっ て 犯罪 行為 を 予測 する Al シス テム の 





























訓練 に 向け た 研究 に つい て 論文 7 を 発表 


顔 写真 を 用 いて シス テム を 訓練 し た 結果 、 シ ステ ム が 人 間 の 顔 の 造り を 分 析 す る だ け で 、90% に 近 


い 精 度 で 犯罪 行為 を 予想 する こと が で きた と 、 研 究 者 ら は 
























































は すぐ に 厳し い 非難 の 対象 と な り 、 論 評者 た 
を 予測 で きる と の 、 深 刻 [RS SX (ZLB BRL LCA け ナ の な い ) 仮 定 に 基づい て いる と 指 





lees 





ART dsp SASS CES ele ee flee Aly AD 





























RL. ARAU E UI. 警察 が 撮影 し た 大 量 の 犯人 の 
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AJA 





























ELE UI RO TERA, CORN 


Ud 












































ち は 当 然 な が ら 、 こ の モデ ル は 人 の 外見 か ら 犯 罪 行為 












































る い は 単純 すず る プロ キシ で ある 場合 に も 、 
ば 病院 で は 、 と ある Al シス テム が Pe H さ れ て お り 、 急 を 要する 治療 が 必要 な 可能 性 を 予測 す 



































る こと で 患者 の 重症 度 判定 #3 を し て いま す が 、 




















ステ ム 上 優先 し 、 よ り 重 症 の マイ ノリ ティ 患 
Tal EA AN E 





































































































標 変数 が 間違っ て いる 、 あ 
問題 形成 バイ アス が 生じ る 可能 性 が あり ます 。 た と え 




































































この Al シス テム が 、 よ り 軽 症 の 白人 患者 の 治療 を シ 
が 不利 に な っ て いた こと が 、2019 年 の 研究 で 明らか 



























































の 治療 









































の 履歴 デー タ を 使用 GR Z 
































の は 、 シ ステ ム が 「 治 療 の 必要 性 」 を 予測 する 際 に 、 患 
































謙 の 必要 性 を 示す 実際 的 な デー タ の 代わ り と し て 、 簡 単に 利用 する こと が で きる 「 治療 費 」 














ティ 患者 は これ まで 治療 を 受け る 機会 が 少な か っ た 
要 性 で は な く 、「 医 療 費 」 に 基づい て 予測 す 


















































ける 現時 点 で の 必 


























UO KAL UTA a 


Be Ee, 0 | 描き 出 
生 が あり ます 。 








ス が か か っ た 結果 と な る 可 邊 


Bd 


























Hed Soest SO Cd eC eee Cle a 


BSA | The Software Alliance 





バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 


















































・ 歴史 的 バイ アス :Al シ ステ ム の 訓練 に 使用 され る デー タ に 含ま れる 歴史 的 バイ アス が 長期 化す る リ が 
あり ます 。 


英国 の ある 医学 部 が 、 入 学者 候補 に ふ 、 eae 0 ム の 構築 に 着手 し まし 

た 。 そ の シス テム は 、 過 去 に 合格 し た 学生 に 関す る デー タ を 使用 し て 訓練 され まし た 。 し か し 、 そ の 大 

学 の 過去 の 合格 者 決定 で は 、 マ イノ リ Set 園 性 以外 の 条件 が その 他 の 出願 者 と 同等 で あ 
っ て も 、 シ ステ ム 上 不利 な 扱い を 受 ! ONS 0 Sees 12 Ase Do 

タタ を 使用 し て モデ ル を 訓練 し た た め 、 こ の 医学 部 は うか つ に も 、 同 様 の バイ アス が か か っ た 合格 判定 
パタ ー ン を 繰り 返す よう ジラ テー ニー ュー 


































































































































































































































































































・ サン プリ ング バイ アス : シ ステ ム の 訓練 に 使わ れる デー タ に 、 使 用 され る 母 集 団 に つい て の 間違っ た 説明 
が 含ま れ て いる と 、 訓 練 デ ー タ で 過小 評価 され て いた コミ ュ ニ ティ で は シス テム が 効果 的 に 機能 し な い お 
それ が あり ます 。 こ の よう な 現象 は 、] mo ー タ が すぐ に 入手 で き な い 場合 、 ま た 特定 の 母 集 

団 を シス テム 上 、 過 大 (過小 ) 評価 する よう な 方 法 で デー タ が 選択 、 収 集 さ れ た 場合 に 、 よ く 発 生 し ます 。 


































































































































































































EXAMPLES 


Joy Buolamwini と Timnit Gebru が 行なっ た 草分け 的 研究 で は 、 白 人 男性 の 顔 に 偏っ て 集め られ た 
Boe ne いて 顔 認識 シス テ ム を 訓練 3 る と 、 そ の シス テム が 肌 の 色 が 濃い 女性 の 顔 を 
認識 する 際 に は 、 正 確 性 が か な り 低く な る こと が 証明 され まし た 。+ 


















































































































































サン プリ ング バイ アス は 、 デ ー タ 収集 方 法 が 原因 と な っ て 発生 する 場合 も あり ます 。 そ の よい 例 と 

し て 、 修 理 が 必要 な 道路 の 穴 を 自動 的 に 検出 し 、 報 告 す る シス テム を 構築 し よう と し た ボス トン 市 
の 試み が 挙げ られ ます 。 こ の プロ グラ ム の 初期 の バー ジョ ン で は 、「StreetBump」 と いう スマ ー ト フ 
A WO ee ee Al ia? = ls Ol その だ た の スマ ミニ ドス テン 
や デー タプ ラン を 購入 で きる 人 が 多く 住む 、 裕 福 な 地域 か ら 大 量 の 報告 が な され まし た 。 サ ンプ リ 
ン ノ パイ のだめ (に 仙 し ゆい 地域 の 道路 守 が テー ニタ セット 上 で は 少な く 示 され る こと こと なり ン 

ステ ム に よる 修理 予算 の 配分 の 結果 、 そ の よう な 地域 の 住人 が 不平 等 に 扱わ れる リス ク が 生じ ま 
Lies” 
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バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 





・ ラベ リン グ バ イア ス : 多 く の Al シ ステ ム で は 、 学 習 ア ル ゴ リ ズム が 将来 の デー タイ ンプ ッ ト を 分 類する 際 に 
更 用 で きる パタ ー ン や 相関 を ョ つけ られ る よう ! こす る た め 、 訓 練 デ ー タ に 「 ラ ベル 」 を 付け る 必要 が あり ま 
す 。 訓練 デー タ セ ッ ト に ラベ リン グ す る 過程 で 、 主 観 的 な 決定 が な され る 場合 が あり 、 そ れ が Al シス テム に 
人 間 の バイ アス を 組み 込む きっ か け と な る 可能 性 が あり ます 。 


ImageNet は 、1400 万 を 超え る 画像 を 分 類 し て ラベ ル を 付け た デー タベース で 、 こ れ に より Al の 
f T が 視覚 認識 シス ラ ム を 訓練 し て いま す 。 mageNet( ake All LEAF 】 体 認識 の 最 先 端 技術 の 
発展 に と っ で < 重要 な ツー ル で す 。 し か し 近年 の 研究 で ほ は 人 く の 画 像 で シス 天 た を 訓練 ずる の に 
使用 する 際 、 デ ー タ ベー ス の 分 類 お よび ラベ リン グ 方 法 に よっ て 、 バ イア ス に よる 重 天 り リスク が ど 
の よう に 発生 する か が 注目 され て いま す 。 Excavating Al AIDH) OAC, Kate Crawford と 
a et に 含ま れる 人 々 の 画像 に 付け られ た 分 類 や デー タラ ベル に は 、 性 、 
人 種 、 障 害 の 有無 、 年 齢 に 基づく バイ アス が 含ま れ て お り 、 そ れ ら を 訓練 デー タ と し て 使用 する 
あら ae テム に 同様 の バイ アス が 伝播 する お それ が ある こと を 明らか に し まし た 。 た と え 
ば 、lImageNet の デー タ を 使用 し て 訓練 され た Al シ ステ ム で は 、 黒 人 対象 者 の 画像 が 「 不 法 行 為 
また は 「 犯 罪 者 ] と し て 分 類 され る 傾向 が 高かっ た の で す 。 ゞ 
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必要 な デー タ が 収集 され た ら 、 開 発 チ タ を 整理 、 処 理 、 標 準 化し て 、 モ デル の 訓練 お よび 検証 に 使 
H で きる よう に する 必要 が あり ます 。 ま た 開発 者 は 、 機 械 学習 手法 を 選択 する か 、 市 販 の モデ ル の 中 か ら 、 使 
する a こ ふ さわ し いも の を 採用 し な けれ ば な り ま せん 。 こ れ に は 、 さ 
ま ざ ま な 手法 を 用 いて た くさ ん の モデ ル を 構築 し し それ ら の 中 か ら 最 も 有効 な モデ ル を 選択 する と いう 場合 
ある で し ょ う 。 通 常 開発 チー ム は 、 モ デル を 機能 させ る た め に 、 デ ー タ パラ メー タ に つい て も 選択 する 必要 が 
あり ます 。 た と えば 、 数 値 ス コア を 表す デー タ は 、 し きい 値 を 設け て | は い ] ま た は 「 い いえ 」 の 回 答 に 変換 され る 
合 が あり ます 一 つま り 、X ま た は それ 以上 の スコ ア は 「 は い 」 と し て 再 指定 され 、 そ の し きい 値 以下 の スコ ア は 
「 い いえ 」 と 指定 され ます 。 開 発 段階 で は 、 次 の よう な バイ アス が 生じ る 可能 性 が あり ます 。 
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© プロ キシ バイ アス : 訓 練 中 に モデ ル が 比較 する 入力 変数 (| 特徴 」 な ど ) を 選択 する プロ セス は 、 バ イア ス 
を も た ら す も う 1 つ の 重要 な 決定 ポイ ント で す 。 セ ン シ テ ィ ブ な 属性 デー タ が 除外 され て いて も 、 シ ステ ム が 
依存 する 特徴 が これ ら の 特性 (プロ キシ と 呼ば れる ) に 深く 関連 し て いる と 、 バ イア ス が 生じ る こと が あり ま 
す 。 
























































問題 の な い 特 徴 を 使用 し て いて も 、 セ ン シ テ ィ ブ な 属性 と 相関 が ある た め に 、 プ ロキ シバ イア ス 
が 生じ る 可能 性 が あり ます 。 た と えば 、 あ る 人 が Mac か 、 そ れ 以 外 の ノー ト パ ソ コン を 所 有 し て いる か 
と いう 情報 か ら 、 ロ ー ン の 返済 可能 性 が 予測 で きる 場合 が ある こと が 、 研 究 に よっ て 明らか ( o 
Naren, 6 し た が っ て 金融 機関 は 、 ン 申込 者 か ら 候補 者 を 選別 する Al シス テム を 構築 する 際 、 こ 

よう な 変数 の 組み 込み を 検討 する 可能 性 が あり ます 。 し か し 、Mac パ ソコ ン の 所 有 は 人 種 と 密接 ( 本 
係 し て いる た め 、 こ の 特徴 を 含め る こと で も 、 プ ロキ シバ イア ス に よる 大 き な リ スク が 発生 し ます 。 そ の 
結果 、 そ の よう な 特徴 を 含め る こと に より 、 人 種 に 深く 相関 し て いる が 、 実 際 の 信用 リス ク に は 関係 の 
な い 特 徴 に 基づい て 、 申 込 者 を シス テム 上 冷遇 する シス テム が で き あ が る 可能 性 が あり ます 。 





























































































































































































































































































































































































































BSA | The Software Alliance 














バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 












































・ 集計 バイ アス :「 汎 用 的 な 」 モ デル を 使用 し 、 重 要 な 変数 が 見 落と され る と 、 そ の シス テム 性 能 は 主要 な サ 
プ グ ルー プ に 対し て し か 活か a" で き な い も の と な る お それ が あり ます 。 モ デル が シス テム の 正確 性 
に 重大 な 影響 を 与え る サブ 間 の 根本 的 な 違い を 考慮 し て いな いと 、 集 計 バ イア ス が 生じ る 可能 
性 が あり ます 。 平 均 値 や am は 、 特 異な 事例 が 見 落と され る お それ が ある の で す 。 そ れ ど ころ か 、 集 団 
に つい て の 値 を 集計 し た モデ ル に より 、 同 じ 集 団 内 の サブ グル ー プ の 状態 に つい て 、 異 な る 動き 、 あ る い は 
逆 の 動き が 正確 に 予測 され る 場合 も あり ます 。 こ の 現象 は 、 シ ンプ ソン の パラ ドッ クス と 呼ば れ て いま す 。 










































































































































































































































































集計 バイ アス リス ク は 特に 、 医 療 現場 で 顕著 に 現れ ます 。 診 断 や 治療 で は 、 病 気 が さ ま ざ ま な 人 
E 民族 の 人 々 に 影響 を 与え る 際 の 特有 の 傾向 を 考慮 する 必要 が あり ます 。 た と えば 、 糖 尿 病 に 
よる 合併 症 の リス ク は 民族 に よっ て 大 きく 異な る た め 、 精 尿 病 に 関連 する リス ク を 予測 する Al シ 
ステ ム は 、 こ の よう な 違い を 考慮 し な けれ ば 、 一 部 の 患者 に 対し て 精度 が 下がる 可能 性 が あり ま 
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SE 導入 、 モ ニタ リン グ 、 お よび 反復 


Al シス テム が 、 モ デル の 訓練 に 使用 され る デー タ と 異な る 現実 の シナ リオ に 出会う こと は 避け られ ませ ん 。 そ 
の た め 、 導 入 前 に 綿密 な 検証 や 試験 が 行わ れ た シス テム で も 、 運 用 が 始め られ る と 性 能 が 低下 する 可能 性 
が あり ます 。 し た が っ て 、Al シ ステ ム の ライ フサ イク ル 全 体 を 通じ て 、 評 価 や 査定 を 継続 的 に 行う こと が 重要 で 
す 。 


・ 導入 バイ アス : シ ステ ム が 導入 され た 後に も 、 さ ま ざ ま な 形 で バイ アス が 発生 する 可能 性 が あり ます 。 た と 

えば 、Al シ ステ ム の 訓練 また は 評価 に 使用 され た デー タ が 、 シ ステ ム 導 入 後に 処理 の 対象 と な る 集団 の デ 

タ と 著しく 異な る 場合 、 モ デル が 予定 通り に 機能 する こと が で き な く な り ま す 。 訓 練 時 に モデ ル が 過剰 に 

調整 され た こと (予測 モデ ル が 訓練 デー タ に つい て の 大 量 な 詳細 情報 を 学習 し た た め 、 そ の 他 の デー タ に 

つい て 正確 な 推論 が で き な い )、 あ る い は コン セプト の 傾向 (目標 変数 と 訓練 デー タ の 相関 に お ける 変化 

に より 性 能 が 悪化 し た ) の どちら か が 原因 で 、 訓 練 に 使わ れ た デー タ の 範囲 外 の 事象 に つい て 、 モ デル が 
信頼 性 の ある 推論 が で き な い 場合 に 、 導 入 バ イア ス が 生じ る 可能 性 が あり ます 。 
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・ 誤用 バイ アス : ま た 、1 つ の 目的 の た め に 構築 され た Al シス テム や 特徴 が 予期 し な か っ た 方 法 や 意図 され 
な か っ た 方 法 で 使用 され た 場合 に も 、 導 入 バ イア ス が 発生 する 可能 性 が あり ます 。 
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URIBE LIE? 


VAT BERE EE VAVEREL MEAR DARAS SCLC, ake 
こよ り シ ステ ム の 信頼 性 を 確保 する プロ セス で す 。 リ スク 管理 プロ セス は 、 サ イ バ ー セ 
BZ ンー ので 3 いい C 条 に 時 要 で す 。 こ れ ら の 分 野 で は 、 テ クノ 
ロジ ー の 急速 な 進化 と 、 脅 威 内 容 の 激しい 変化 が 組み 合わ さる こと で 、 従 来 の 「 コ ンプ 
DADAS la ee ALA Sa TS (AA 
うな 、 変 化 の な い 規 定 要件 リス ト に 照ら し て 製品 や サー ビス を 評価 する の で は な く 、 リ ス 
ク 管理 で は 製品 や サー ビス の ライ フサ イク ル 全 体 を 通じ て リス ク を 軽減 する た め に 、 コ 
ンプ ライ アン ス 責任 を 開発 過程 に 統合 する こと を 目指 し て いま す 。 効 果 的 な リス ク 管 理 
は 、 製 品 の 設計 、 開 発 、 導 入 の 重要 な 局面 に お ける 組織 の 開発 チー ム と コン プラ イア ン 
ス 担 当 者 の 協力 を 高め る ガバ ナン ス ・ フ レー ム ワ ー ク に 基づい て いま す 。 
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バイ アス の リス ク の 管理 


























Al シス テム を 開発 ・ 使 用 する 組織 は 対策 を 講じ て 、 バ イア ス の 発生 に より 、 あ る 人 の 属性 に つい て の 特徴 に 基 
づい て 、 不 都合 また は 有害 な 結果 が 不当 に も た ら さ れる こと が な いよ うに する 必要 が あり ます 。 こ の よう な バ 


















































バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 







































































イア ス か ら 生 じ う る 被害 を 効果 的 に 防御 する に は リス ク 管 理 の フ 
り で す 。 
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"ロー チ が 必要 で あり 、 そ の 理 




















は 次 の 通 











ライ フサ イク ル 全 体 で 発生 し うる 潜在 的 リス ク を 特 


を 確立 する こと で す 。 包 括 的 な リス 
a 
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バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 





ガバ ナン ス ・ フ レー ム ワ ー ク 


効率 的 な Al リス ク 管 理 を 行う に は 、 シ ステ ム の ライ フサ イク ル 全 体 を 通し て リス ク を 特定 、 軽 減 、 記 録 す る 際 に 
拠り どこ ろ と な る 方 針 、 プ ロ セ ス 、 お よび 担当 者 が 定め られ た ガバ ナン ス ・ フ レー ム ワ を 基礎 と する 必要 が 
あり ます 。 こ の よう な ガバ ナン スズ ・ レー ム ワ ー ク の 目的 は 、 組 織 内 の 部 署 全体 (製品 開発 、 コ ンプ ライ アン ス 、 
マー ケティング 、 営 業 、 経 営 幹 部 な ど ) に 対し て 、AI シ ステ ム の 設計 、 開 発 お よび 導入 に お いて 効果 的 な リス ク 
管理 を 進め る 上 で 、 そ れ ぞ れ の 部 署 が 担う 役割 や 責任 に つい て 理解 を 広め る こと で す 。 リ スク 管理 ガバ ナン 
ス ・ フ レー ム ワ ー ク の 主 な 特徴 は 次 の と お り で す 。 











































































































































































































































































































方 針 と プロ セス 


ガバ ナン ス ・ フ レー ム ワ ー ク の 中 心 と な る の は 、 組 織 の リス ク 管 理 に 対す る アプ ロー チ を 定め た 各種 の 公式 な 
方 針 で す 。 こ れ ら の 方 針 に お いて 、 組 織 の リス ク 管 標 、 そ の 目標 を 達成 する た め に 従う 手順 、 そ し て コン プ 
ライ アン ス の 評価 の 拠り どこ ろ と な る 基準 を 定義 する 必要 が あり ます 。 
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・ 目標 :AlI リ スク 管理 は 、 組 織 が その 基本 理念 に 基づい て Al を 開発 ・ 使 用 する こと を 目的 に 、 組 織 に お ける さ 
ま ざ ま な リス ク 管 理 機能 の 状況 に 肥 し て 行わ れる 必要 が あり ます 。 そ の た め に 、 ガ バナ ンス ・ フ レー ム ワ ー 
で 、 基 本 理念 を 脅かす 可能 性 の ある リス ク を どの よう に 管理 する か を 定め る 必要 が あり ます 。 
















































































































































































・ プロ セス : ガ バナ ンス ・ フ レー ム ワ ー ク で は 、 リ スク を 特定 し 、 リ スク の 重大 さ を 評 価 し 、AI ラ イフ サイ クル の 
各 段 階 で リス ク を 軽減 する た め の 、 プ ロ セ ス と 手順 を 確立 する 必要 が あり ます 。 





























































































































・ 評価 シス テム : 組 織 が 方 針 や 手順 が 規定 通り に 実施 され て いる か を 評価 する 際 に 使用 する 数 値 基 準 や べ 
ンチ マー ク な どの 決ま り に つい て 、 ガ バナ ンス ・ フ レー ム ワ に て 規定 する 必要 が あり ます 。 



















































































・ 定期 的 な レビ ュー:Al の 能力 が 今後 も 成 圭 し し テク ノロ ジー が 新た な 用 途 で 使わ れる 中 で 、 組 織 は Al ガバ ナ 
ンス ・ フ レー ム ワ ー ク を 定期 的 に 見 直し 、 更 新 し て 、 目 的 に 合っ た 状態 に 維持 し 、 進 化す る リス ク 内 容 に 対 
応 で きる よう に する こと が 重要 で す 。 






















































































































































































ry 
a +H 経営 者 に よる 監視 :Al 開 発 者 と Al 導入 担当 者 は 、 経 営 者 に よる 十分 な 監視 に よっ て 強化 され 
3 た ガバ パナ ンス ・ フ レー ム ワ ー ク を 維持 する 必要 が あり ます 。 経 営 幹部 は ガバ ナン ス ・ フ レー ム ワ 
ー ク の 方 針 内 容 を 作成 し て 承認 する だ け で な く 、 企 業 に お ける Al 製品 開発 ライ フサ イク ル を 
監視 し て 、 積 極 的 に その 役割 を 果たさ な けれ ば な り ま せん 。 結 果 的 に 人 々 に 悪影響 を 及ぼ す 
可能 性 の ある ハイ リス ク な シス テム に つい て は 、 会 社 の 経営 陣 が 責任 を 持っ て 「 実 行 / 実 行 し 
な い 」 の 意思 決定 を 行う 必要 が あり ます 。 
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バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 


担当 者 、 役 割 お よび 責任 


リス ク 管 理 の 効果 が 出る か は 、Al の ライ フサ イク ル を 通し て 意思 決定 を 取り 仕切 る た め の 、 職 能 上 の 枠 を 超え 
た 専門 家 グ ルー プ を 設立 で きる か に よっ て 決ま り ま す 。 組 織 の 規模 や 、 開 発 ま た は 導入 する シス テム の 性 質 に 
よっ て は 、 リ スク 管理 の 責任 に お いて 複数 部 門 の スタ ッ フ の 関与 が 必要 に な る こ A め ガ バ 
ナン ス ・ フ レー ム ワ ー ク で は 、AIl リ スク 管理 に 関連 する 役割 と 責任 を 担う 組織 内 の 担当 者 を 定め 、 報 告 ラ イン 、 
権限 、 お よび 必要 な 専門 知識 を は っ きり と 位置 づけ る 必要 が あり ます 。 役 割 や 責任 を 割り 当て る 際 、 組 織 は 独 
立 性 、 能 力 、 影 響 力 、 多 様 性 の 優先 順位 を 考え る 必要 が あり ます 。 






















































































































































































































































































































































































・ 独立 性 : 複 数 レベ ル で 独自 の レビ ュー が で きる よう に 担当 者 を 本 1 cease リス ク 管 理 を 最も 効果 的 に 
行う こと が で きま す 。 た と えば 、 リ 管理 の 責任 は 、 次 の よう な 複数 チー ム に 分 割 す る こと が で きま す 。 














































































































ー 製品 開発 チー ム :Al 製 品 ・ サ ービス の 設計 開発 に 携わる エン ジニ ア 、 デ ー タ ・ サ イエ ン テ ィ ス ト 、 各 種 専 
門 家 。 
































ー コン プラ イア ンス チー ム : ハ イリ スク な AI シス テム に お ける 影響 評価 の 開発 な ど 、Al 開 発 に お いて 方 針 
や 実務 が 遵守 され て いる か を 監視 する 法律 、 コ ンプ ライ アン ス お よび 各 分 野 の 専門 家 、 ま た デー タ 専 
門 家 を 含め 、 多 種 多様 に 構成 され る チー ム 。 

































































































































































ー ガバ ナン スチ ー ム : 組 織 の AlI ガ バナ ンス ・ フ レー ム ワ ー ク と リス ク 管 理 プ ロ セ ス の 効果 的 な 監視 を 、 計 
画 、 維 持 、 確 認 する 役割 を 担う チー ム 。 理 想 的 に は 、 経 営 幹部 が 主導 する 。 



































































































































© 能力 、 情 報 提 供 お よび 影響 力 : リ スク 管理 の 責任 を 担う 担当 者 は 、 ガ バナ ンス の 役割 を 果たす た め 、 十 分 
な トレ ー ニ ング や 情報 提供 を 受け る 必要 が あり ます 。 ま た 、 担 当 者 が 権限 を 与え られ る こと や 、 リ スク に 対 
処 し た り 、 上 長 に 報告 し た りす る 際 の 意思 決定 を 行う 上 で 効果 的 な イン セン ティ ブ を 与え られ る こと も 同様 
に 重要 で す 。 た と えば 、 組 織 は 明確 な 報告 ルー ト を 定め て リ 管理 担当 者 が 経営 幹部 の 意思 決定 者 と 

連携 で きる よう に し 、 重 要 な リス ク 領 域 や 決定 に つい て 経営 幹部 レベ ル で の 見 通し が 得 ら れる よう に し な け 

れ ば な り ま せん 。 
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QNE 


Km oOo 多様 性 :AI シ ステ ム は 社会 的 、 技 術 的 性 質 を 持つ た め 、 シ ステ ム の 開発 と 監視 に 関わ る チ 
LID ム 内 の 多様 性 に 優先 順位 を 付け る こと が 非常 に 重要 に な り ま す 。 開 発 お よび 監視 プロ セス 
ee ム メ ン バ が さま ざま な 視点 や 背景 を 持っ て いる 場合 に 最も 効果 を 発揮 し ます 。 そ 
の よう な 視点 や 背景 は 、AI シ ステ ム の 影響 を 受け た り 、Al シ ステ ム を 利用 し た りす る ユー ザー 
= ズ や 懸念 を 推定 する 上 で 有人 益 で す 。「 ア ル ゴ リ ズム 開発 で は 、 倫 理 感 や 政治 的 思想 な 
ど 、 開 発 者 が 自覚 し な い 思 い 込 み が 暗 黙 の うち に コー ド 化 され る 」 た め 、 組 織 に お いて は 、 さ 
ま ざ ま な 実体 験 が 投影 され た チー ム を 構成 する こと や 、Al の 設計 ・ 開 発 プ 一 セス の ライ ラサ 
0 ル こ 、 こ れ ま で 軽視 され て きた 考え 方 を 取り 入れ る こと が 重要 で す 。2 組 織 が 多様 
性 に 欠け て いる 場合 は 、 外 部 の 利害 関係 者 に 相談 の 上 、 特 に シス テム の 影響 に よっ て 過小 評 
され て きた 集 判 か ら の フィ ー ド バッ ク を 得る 必要 が あり ます 。 
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バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 


影響 評価 


Al リ スク 管理 を 効果 的 に 行う に は 、 一 般 の 人 々 に 大 きく 影響 を 与え うる シス テム の 影響 評価 を 行う た め の 、 盤 
石 な プロ セス を 踏む 必要 が あり ます 。 影 響 評価 は 、 環 境 保護 か ら デ ー タ 保護 に 至る まで さま ざま な 分 野 で 幅広 
く 使用 され て いま す 。 影 響 評価 は 説明 責任 の 仕組 み で あり 、 シ ステ ム が 一 般 社会 に 及ぼ し うる 潜在 的 リス ク を 
考慮 し て 設計 され て いる こと を 説明 する こと で 、 信 頼 性 が 高まる の で す 。 つ まり 、 影 響 評価 の 目的 は 、 シ ステ ム 
が も た らし うる リス ク を 特定 し 、 シ ステ ム が 与え うる 被害 の 規模 を 数 値 化 し 、 そ し て 許容 で きる レベ ル ま で リス ク 
を 軽減 する た め に 取ら れ た 対応 を 記録 する こと で す 。 
















































































































































































































































































































































































評価 の 対象 で ある シス テム の 性 質 や 、 そ れ に よっ て 生じ うる 被害 の 内 容 に 合わ せ て 、 影 響 評価 プロ セス を 調 
整 する 必要 が あり ます 。 極 め て ロー リス ク な シス テム に は (た と え ! ee oie nee ae 
シス テム )、 完 全 な 影響 評価 を 行う ede も あり ます 。 し か し 、 シ ステ ム に 本 質 的 な リス ク が あり 、 一 
般 社 会 に 物 的 被害 を も た ら す 可能 性 が ある 場合 に は 、 完 全 な 影響 評価 が 行わ れる 必要 が あり ます 。Al は 驚く 
ほど さま ざま な アプ リ ケ ー レ ョ ン に 拉 載 で きる た め 、 リス ク を 特定 し て 軽減 する た め の 「 万 能 な 」 ア プロ ー チ は 
あり ませ ん 。 そ の 代わ り に 、 影 響 評 セス を 調整 する こと で 、Al シ ステ ム の 性 質 と 、 そ れ に よっ て 生じ うる 本 
質 的 な リス ク や 物 的 被害 の 可能 性 に 備え る 必要 が あり ます 。 シ ステ ム に 物 的 被害 を 発生 させ る 本 質 的 な リス 
ク が ある か を 判断 する 上 で 、 利 害 関 係 者 は 次 の 点 を 考慮 する 必要 が あり ます 。 


・ 人 々 へ の 潜在 的 な 影響 : 貸 し 付け を 受け た り 、 住 宅 を 確保 する 機会 な ど 、AlI シ ステ ム が 意思 決定 プロ セス 
で 使わ れ 、 そ の 結果 人 々 に 間接 的 な 影響 が 及ぶ よう な 場合 で も 、 影 響 評価 は 同じ く 重 要 で す 。 













































































































































































































































































(1 

















































































































































































































・ シス テム の 状況 と 目的 : 影 響 評価 の 必要 性 と 、 適 切な 実施 範囲 を 判断 する に は 、 最 初 に AI シス テム の 性 質 
と 使用 環境 の 評価 を 行う と よい で し ょ う 。 発 生 し うる 被害 の 深刻 度 や 頻度 が 高い 領域 (医療 、 輸 送 、 金 融 な 
ど ) で 使わ れる ハイ リス ク な Al シス テム に と っ て 、 影 響 評価 は 特に 重要 に な り ま す 。 
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・ 人 間 に よ る 監視 レベ ル : ど の 程度 Al シス テム が 完全 に 自動 化 さ れる か も 、Al シ ステ ム の 本 質 的 な リス ク に 
影響 を 与え る 可能 性 が あり ます 。 高 度 に 熟練 し た 専門 家 に 提言 を 行う よう に 設計 され た シス テム は 、 同 様 
の 完全 に 自動 化 さ れ た シス テム より も 固有 の リス ク が 少な いと 考え られ ます 。 も ちろ ん 、 人 間 に よ る 判断 を 
シス テム に 組み 込む だ け で 、Al シ ステ ム か ら リ スク が な く な る わけ で は あり ませ ん 。 む し ろ 、 人 間 と コン ピュ 
ー タ ー の 相互 作用 の 性 質 を 総合 的 に 精査 し 、 人 間 の 監視 に よっ て Al シス テム の 本 質 的 な リス ク を どの 程 
度 軽減 で きる か を 見 極め る 必要 が あり ます 。 





























































































































































































































・ デー タ の 種類 : シ ステ ム の 訓練 に 使用 され る デー タ の 性 質 に よっ て 、 シ ステ ム の 本 質 的 な リス ク が 明らか 
に な る 場合 も あり ます 。 た と えば 、 使 用 され る 訓練 デー タ が 人 間 の 性 格 や 行動 に 関す る も の で ある 場合 
TE. アス を より 慎重 に 監視 し な けれ ば な ら な いと いう サイ ン で す 。 
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以下 で は Al バイ アス リス ク 管 理 の フレ ー ム ワー ク の 概要 を 説明 し ます 。 こ の フレ ー ム ワー 
ク は 、Al バ イア ス の 潜在 的 リス ク を 伴う シス テム に つい て 、 組 織 が 影響 評価 を 行う 際 の 
参考 と な る よう に 設計 され て いま す 。 こ の ラレー 下 ワ ー ク は 、AlI シ ステ ム の ライ フサ イク ル 
を 通し て 発生 する バイ アス の 原因 を 特定 する プロ セス を 定め る だ け で な く 、 リ スク を 軽 


減 する た め の ベ スト ・ プ ラク ティ ス を 提示 する も の で す 。 


この フレ ー ム ワー ク は 、 確 実 性 に 基づく 説明 責任 の た め の 仕組 み で あり 、Al 開 発 者 お 
よび AI 導入 組織 は 次 の よう な 目的 で 使用 する こと が で きま す 。 
































































































































































































































































































































































































































































































































・ 内 部 プロ セス の 指針 :Al 開 発 者 と Al 導入 者 が こ ・ 。 ベン ダー と の 関係 :Al 導 入 者 は この フレ ー ム ワ 
DAL => O. PeWZ 曲 セス に ク を 指針 と し て 、AlI リ スク が 十分 に 検討 され た 
お ける 役割 、 責 任 そ し て 想定 に つい て 、 組 織 立て Come > Sea re Lic. Avex 
CE. — EE 
・ トレ ー ニ ング 、 意 識 向上 お よび 教育 : Al 開発 ・ 信頼 と 自信 :Al 開 発 者 が 、 製 品 の 特徴 や 、 そ の 
と Al 導入 者 は 、 こ の フレ ー ム ワー ク を 使う こと 製品 が Al バイ アス リス ク を 軽減 する アプ ロー チ 
で 、Al シ ステ ム の 開発 と 使用 に 携わる 従業 員 向 に つい て 、 一 般 の 人 々 に 伝え た い 場 合 に 、 こ の フ 
け の 社内 トレ ー ニ ング や 教育 プロ グラ ム を 作成 レー ム ワ ー ク は 、 倫 理 的 な Al シス テム を 構築 す 








る 取り 組み に つい て 、 組 織 が 一 般 の 人 々 に 説明 


する こと が Cho. Set. LOW Ny) A 
する の に 役立ち ます 。 


は 、 組 織 の AI バイ アス リス ク 管 理 へ の アプ ロー 






































































































































































































































































































































。 チ に つい て 経営 幹部 を 教育 する た め の 有 用 な = ; 
>” ツー ル と な り ま す 。 ・ イン シ デ ン ト へ の 対応 : 突 然 の イン シ デ ン ト が 
人 sn ae 発生 し た 際 、 こ の フレ ー ム ワー ク が 定め る プロ セ 
% A 5 ” 保証 お よび 説明 責任 : Al 開発 者 と Al 導入 者 は 、 ス と 参照 資料 が 監査 証跡 と な り 、Al 開 発 者 や Al 
PE a この フレ ー ム ワー ク に 基づい て それ ぞ れ の 役割 ee AO dee Xe AE ド ま た は 
や 責任 に つい て 話し 合い 、 調 整 する こと が で き 、 不具 合 の 原因 を 見 つけ る こと が で きま す 。 
シス テム の ライ フサ イク ル を 通し て 、Al リ スク を 
o m 管理 する こと が で きま す 。 
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バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 


AI ライ フサ イク ル に お ける 各 フ ェ ー ズ 


この フレ ー ム ワー ク は Al ライ フサ イク ル の 各 フ ェ ー ズ に 沿っ て 体系 化 さ れ て お り 、Al シ ステ ム を 構築 し 、 使 用 3 
る 際 に 繰り 返し 行う 、 重 要 な 手順 を 説明 する も の で す 。 
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ー ズ 


設計 フェ ー ズ 




























































































・ プロ ジェ クト の 概念 :Al 設 計 の 初期 段階 で は 、 シ ステ ム が 解決 し よう と する 「 問 題 」 を 特定 し て 定義 し 、 モ デ 
レ に よっ て その 目標 を どの よう に 達成 する か を 計画 し ます 。 こ の フェ ー ズ で は 、 設 計 チ ー ム が シス テム の 
的 と 構造 を 定義 し ます 。 シ ステ ム の 性 質 に 応じ て 、 設 計 チ ー ム は シス テム が 予測 する 目標 変数 を 特定 し ま 
す 。 こ の 例 と し て は 、 あ る フィ ッ ト ネ ス ア プリ が ユー ザー の 心拍 数 を 分 析 し て 異常 が な いか モニ ター し 、 そ の 
人 に 脳卒中 また は 心臓 病 ( つ まり 目標 変数 ) の リス ク が ある か を 予 測 す る よう な 場合 が 挙げ られ ます 。 シ ス 
テム 設計 プロ セス の 初期 段階 に お いて は 、Al の 使用 が 現在 の プロ ジェ クト に と っ て 適切 か 否 か を 特定 する 
こと が 、 バ イア スリ スク 管理 の フレ ー ム ワー ク の 目標 で す 。 潜 在 的 リス ク は 次 の と お り で す 。 
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ー 間 題 形成 バイ アス : 目 標 変数 に は 、 本 質 的 な バイ アス また は 正しく な い 仮定 が 含ま れる 場合 が あり 、 危 
険 な バイ アス が 長期 化す る お それ が あり ます 。 場 合 に よっ て は 、 提 案 さ れ た Al シス テム の 根本 と な る 基 
本 的 な 仮定 に 本 質 的 な バイ アス が あり 、 ど の よう な 形 で も 一 般 展 開 に は 適さ な いこ と が あり ます 。 

















































































































・ デー タ 取 得 : シ ステ ム の 目標 を 定義 し た ら 、 開 発 者 は 、 デ ー タ の コー パス を 構築 する 必要 が あり ます 。 こ の 
コー パス を 使用 し て モデ ル が パタ ー ン を 認識 で きる よう 訓練 し 、 将 来 の デー タイ ンプ ッ ト に つい て 予測 が で 
きる よう に する の で す 。 こ の 訓練 デー タ が さま ざま な 形 で 、 思 い が け ず Al シ ステ ム に バイ アス を 生み 出す 可 
能 性 が あり ます 。 潜 在 的 リス ク は 次 の と お り で す 。 






























































































































































ー 歴史 的 バイ アス : シ ステ ム を 訓練 する デー タ そ の も の に 歴史 的 バイ アス が 含ま れる 場合 、 不 平等 性 が 
さら に 定着 する お それ が あり ます 。 








































































































































































































ー サン プリ ング バイ アス :Al シ ステ ム の 訓練 に 使用 され る デー タ が 、 シ ステ ム が 対象 と する 集団 に つい て 
の 典型 的 な デー タ で は な い 場 合 に も 、 バ イア スリ スク が 発生 し ます 。 典 型 的 で な い デ ー タ で 訓練 され た 
Al シス テム は 、 過 大 (過小 ) 評 人 oe の 人 に つい て 予測 を 行う 際 、 効 果 的 に 機能 し な い 可 能 
性 が あり ます 。 











ー ラベ リン グ バ イア ス : 多 く の Al シ ステ ム で は 、 訓 練 デ ー タ に ラベ ル を 付け て 、 ど の よう な パタ ー ン を 探す 
か を 判断 で きる よう に する 必要 が あり ます 。 訓 練 デ ー ー タ セッ ト に ラベ リン グ す る プロ セス は 、Al シ ステ ム 
に バイ アス を 組み 込む きっ か け と な る 可能 性 が あり ます 。 
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バイ アス に 挑む :Al の 信頼 性 構築 
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こ 向 けた BSA の フレ ー ム ワー ク 

























































































































































































































































































































































































































































































































































































































































































開発 フェ ー ズ 
・ デー タタ 準備 と モデ ル の 定義 :AI ラ イフ サイ クル の 次 の ステ ッ aca 練 に 備え て 、 デ ー タ を 準 

備 し ます 。 開 発 チ ー ム は この プロ セス に お いて 、 訓 練 デ ー タ に 変数 (つま り 「 特 徴 」) を 整理 し 、 標 準 化 

し 、 特 定 し ます 。 ア ル ゴ リ ズム は パタ ー ン や 相関 を 探す 際 に = Mi タ を 確認 し 、 そ れ を 将来 の 予測 

を 行う た め の 基 本 規則 と し ます 。 開 発 チ ー ム は それ に 加え 、 シ ステ ム を 強化 する アル ゴリ ズム モデ ル の タイ 
"(直線 回 帰 、 ロ ジス ティ ッ ク 回 帰 、 デ ィ ー プ ニュ ー ラ ルネ ットワーク な ど ) を 選択 する な ど し て 、 シ ステ ム の 

基盤 と な る 構成 を 組み 立て な けれ ば な り ま せん 。21 デ の 準備 が 整い 、 ア ル ゴ リ ズム が 選択 され た 後 、 開 

発 チ ー ム は シス テム を 訓練 し て 、 将 来 の デー タイ ンプ ッ ト に つい て 予測 が で きる 機能 モデ ル を 作成 し ます 。 

潜在 的 リス ク は 次 の と お り で す 。 

ー プロ キシ バイ アス : 訓 練 デ ー タ で 特徴 を 選択 し 、 モ デリ ング 方 法 を 選択 する プロ セス で は 、 モ デル の 
標 変数 に つい て 予測 を する 際 、 ど の 変数 が 関連 し て いる と 見 な すか を 、 人 間 が 判断 し ます 。 こ の よう な 
判断 に より 、 保 護 さ れ た クラ ス の プロ キシ と し て の 役割 を 果たす 変数 を 基 に する な ど 、 シ ステ ム に 思い 
が けず バイ アス が 組み 込ま れる 可能 性 が あり ます 。 

ー 集計 バイ アス : モ デル が シス テム の 正確 性 に 重大 な 影響 を 与 る る サブ グル ー プ 間 の 根本 的 な 違い を 
考慮 し て いな いと 、 集 計 バ イア ス が 生じ る 可能 性 が あり ます 。「 汎用 的 な 」 モ デル を 使用 し 、 重 要 な 変数 
が 見 落と され る と 、 そ の シス テム 人 性能 は 主要 な サブ グル ー プ に 対し て し か 活か すこ と が で き な い も の と 

















な る お それ が あり ます 。 


・ モデ ル の 検証 、 試 験 お よび 修正 : 
作 し て いる か を 確 
する 必要 が あり ま 


と を 実証 





























る た め 、 モ デル を 修 











導入 フェ ー ズ 


認 し 、 試 験 を 行っ 
ce 検証 と 
E す る 必要 が 生じ る 可能 性 も あり 8 


























モデ ル の 訓練 が 完了 し た ら 、 検 証 ( 





























に CO の 
て シス テム か ら 得 られ た 結果 に 予定 外 の バイ アス が 含 


し た と お り に 動 
まれ て いな いこ 





ル が 意図 




















試験 の 結果 に よっ て は 、 容 認 で き な い バイ アス に よる リス ク を 軽減 す 








ます 。 





・ 導入 と 使用 : 導 入 前 に 
の ガバ ナン スポ リ シ ー 
す 。 特 定 さ れ た リス ク が シス テム の 誤 


が 、 会 社 




















、Al 開発 

















は シス テム を 評 人 
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Al シス テム を 使 
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が 、Al 導 入 


























] す る 前 



































うか 評 人 

















する 責 人 f 


























が 提供 する 文 


を 確認 





こ 、Al 導 入 者 


は Al 


開発 
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し 、 シ ステ ム が 独 














か を 評価 し 、 導 入 に 














判断 する 必要 が あ 
は シス テム 性能 を 監視 
を 負う こと が よく あり ます 。 潜 在 
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ク は 次 の と お り で す 。 








ァイル と 整合 性 の ある 方 法 で 動作 し て いる か ど 
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バイ アス に 挑む : ALO (BHA 











ー 導入 バイ アス :Al シ ステ 





ム は 、 時 間 の 静 的 な 瞬間 を 表 
な う 可 能 性 の ある 「 ノ イズ 」 を 除外 する デー タ で トレ ー ニ ング され ます 
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ステ ム は 開発 環境 や テス ト 環境 と は 異な る 条件 に 必然 的 に 遭遇 し 
過 と と も に 変化 する た め 、 デ ー タ 変数 間 の 関係 が 進化 する に つれ て 、 
よど うし て も 低下 する こと が あり ます 。 導 入 さ れ 
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Ef 
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ー 誤用 バイ アス :Al シ ステ ム を 設計 され た 条 付 
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レー ム ワ ー ク は 、 シ ステ ム の 


イフ サイ 








"ラク ティ ス を 特定 し ます 。 そ れ は 次 の よう に 
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・ 機能 :Al リ スク 管理 の 
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・ カテ ゴリ ー: Al ライ フサ イ 


能 を 実行 する た め に 必要 な 活動 と プロ セ 
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バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 





関係 者 の 役割 と 責任 AI の 開発 お よび 導入 モデ ル の ス 
動 的 な 性 "ベク トル 
、 開 発 、 導 入 関係 者 間 の リス ク 管 理 責任 の 適切 な 分 配 は 、 開 発 さ 
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cl 


フレ ー ム ワー ク は 、Al シ ステ ム の 本 質 
質 を 反映 し て いる の で 、 シ ステ ム の 設 
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の 多様 な 側面 で 役割 を 果たす 可能 性 の ある 一 連 の れる AI シス テム の 性 質 、 お よび どの 当 が 基盤 と 
関係 を 考慮 し て いま す 。A の 開 ETARE: ADE な る モデ ル の トレ ー ニ ング の 的 と 方 5 を 決定 する 
テル は ーー つ で は な いた め 、 理 論 上 は 、 フ レー ム ワ ー か に よっ て 異な り ます 。 例 えば 、 次 の よう に な り ま す 。 
ク の 多く の リス ク 管 理 機能 に は 、 役 割 を 割り 当て た り 












































































































































































































































































































































































































































































































































































































































き 定 の 責任 を 負わ せ た り する こと が で きま せん 。 し か © ユニ バー サル 、 静 的 モデ ル :Al 開 発 者 は 、 す べ て 
し 、 一 般 的 に は 、 シ ステ ム の ライ フサ イク ル を 通じ た の 顧客 (Al 導入 者 ) に 、 事 前 に トレ ー ニ ング を 受け 
Al リス ク 管 理 の 特定 の 側面 に つい て 、 様 々 な 責任 を た 静 的 な モデ ル を 提供 し ます 。 
負う 三種 類 の 関係 が 子 Lass Al 開発 pee + デル ! スク 管 3 の ほとん どの 
© Al 開発 者 :Al 開 発 者 は 、AI シ ステ ム の 設計 と 開発 側面 に つい て 責任 を 負い ます 。 
を 担当 する 組織 で す 。 ・ カス タマ イズ 可能 モデ ル :Al 開 発 者 は 、 事 前 に ト 
© Al 導入 者 :Al 導 入 者 は 、AI シ ステ ム を 採用 し て 使 ーー ング SPP で AI A - 提 供し 
H す る 組織 で す 。 (法人 が 独自 の シス テム を 開発 ます 。Al 間 入 者 は 、 独 の を 使用 し て モ 7 
し て いる 場合 は 、 そ れ は Al 開 発 者 で も AI 導入 者 で WEP AAS AAD a a 





































































































































































































































































































































































































































































































も あり ます )。 Dees 
‘ : i . = ー リス ク 管 理 は 、Al 開 発 者 と Al 導入 者 の 間 で 責 
・ Al エン ド ユ ー ザ ー:Al エ ンド ユー ザー は 、Al シ ステ 任 が 共有 され ます 
ム の 使用 を 監督 する 責任 が ある 個人 で 、 多 く の 7 
場合 Al 導入 者 の 従業 員 で す 。 ・ 特注 モデ ル :Al 開 発 者 は 、Al 導 入 者 の デー タ を 使 
H し て 、Al 導 入 者 に 代わ っ て 特注 Al モデ ル を トレ 
これ ら の 関係 者 間 で の リス ク 管 理 責任 の 分 配 は 、 多 ー ニ ング し ます 。 
く の 場 合 、Al シ ステ ム の 開発 お よび 導入 モデ ル に 依 reg eas 2 
存 し て いま す 。 = リス は 、 和 開発 と Al 導入 者 の 間 で 責 
任 を 共有 し ます が 、Al 導 入 者 に より 多く の 義務 






































が 課せ られ ます 。 
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バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 


BSA Al バイ アス リス ク 管 理 フ レー ム ワ ー ク 






























































影響 評価 標 と 仮定 を 特定 し て シス テム の 意図 と 目的 を 文書 化す る 。 ・ シス テム の 目的 は 何 か 。 つ まり 、 ど の よう な 






























































文書 化す る 。 「 間 題 」 を 解決 する の か 。 
・ シス テム の 対象 ユー ザー は 誰か 。 
・ シス テム は どこ で どの よう に 使用 され る 
か 。 
・ どの よう な 誤用 が 考え られ る か 。 







































































E デ ル の 意図 する 効果 を 明確 に 定義 する 。 モデ ル が 何 を 予測 、 分 類 、 推 奨 、 ラ ンク 付け 、 
また は 発見 ずる よう (に 意図 され で いる か 。 
















































































意図 する 使用 の 事例 と シス テム が 導入 され 
る 文脈 を 明確 に 定義 する 。 





























































































































公平 性 を 評価 する た め Al シス テム の バイ アス を 評価 する た め の 基  「 公 平 性 ] と いう 概念 は 非常 に 主観 的 で あ 

の 数 値 基準 を 選択 し て 準 と し て 使用 する 、「 公 平 性 ] に つい て の 数 り 、 評 価 に 用 いる こと が で きる 数 値 基 準 は 多 

文書 化す る 。 値 基準 を 特定 する 。 数 ある 。 公 平 性 の 数 値 基準 を すべ て 同時 に 
i は 不可 能 な た め 、 開 発 中 の Al シス 





















































































































































フサ イク ル の 後半 の 段階 に お ける 情報 提 
共 の た め 、 公 平 性 の 数 値 基 準 を 選択 お よび / 
また は 除外 する 為 に 用 いる 根拠 を 文書 化す 
る こと が 重要 で ある 。 
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関係 者 の 影響 を 文書 シス テム の 影響 を 受け る 可能 性 の ある 関 関係 者 グル ー プ に は 、Al 導 入 者 、AI エ ンド ユ 
化す る 係 者 グレ ループ を 特定 する 。 ー ザ ー、 影 響 を 受け る 個人 (Al シス テム と や 
り 取 り し た り 、Al シ ステ ム に よっ て 影響 を 受 
けた りす る 可能 性 の ある 一 般 の メン バー) が 






































































































































ican 
各 利害 関係 者 グル ー プ に つい て 、 シ ステ ム 
の 意図 する 使用 と 合理 的 に 予見 可能 な 誤 
使用 の 両方 を 考慮 し て 、 潜 在 的 な 利益 と 港 
在 的 な 悪影響 を 文書 化す る 。 
シス テム の 性 質 が 原因 で 、 ユ ー ザ ー の 属性 ユー ザー 属性 に は 、 人 種 、 性 別 、 年 齢 、 障 が い 




















































































































に 基づい て バイ アス に 関連 する 潜在 的 な 状態 、 そ の 共通 部 分 な ど が 含ま れる (これ ら 
被害 が 発生 し や すい か どう か を 評価 する 。 に 限定 され な い )。 









































リス ク 軽 減 を 文書 化 バイ アス の リス ク が 存在 する 場合 は 、 リ スク 
する を 軽減 する た め の 取 り 組 み を 文書 化す る 。 
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バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 


















































影響 評価 (2) リス ク 軽 減 を 文書 化 特定 され た リス ク と 各 リ スク の 潜在 的 な 危 
する 険 性 を どの よう に 測定 する か 、 お よび 軽減 
戦略 の 効果 を どの よう に 評価 する か を 文 
書 化す る 。 
バイ アス の リ ク が 存在 する 場合 は レク 

















を 軽減 する た め の 取 り 組み を 文書 化す る 。 



























































































































































































































































































































































リス ク が 軽減 され て いな い 場 合 は 、 リ スク 
が 許容 可能 と 判断 され た 理由 を 文書 化す 
De 
リス ク 軽 減 の べ 独立 性 と 多様 性 さま ざま な 利害 関係 者 か ら フ ィ ー ド バッ ク を この 初期 段階 で 特定 され た リス ク は 、 開 発 お 
スト ・ プ ラク ティ ス 得 て 、 影 響 評価 を 行う 。 よび 影響 評価 プロ セス の 後半 の 側面 を 示す 
の で 、 さ ま ざ ま な 経験 、 文 化 的 背景 、 お よび 再 
門 知識 を 持つ 人 々 か ら 多 様 な 視点 を 求め る 
こと で 生じ る 可能 性 の ある 潜在 的 な 被害 に 
ANC EE 理解 する こと が 決定 的 に 重 
要 で ある 。 社 内 の 担当 者 が 主題 や 文化 的 多 
様 性 を 欠い て いる 場合 、 第 三 者 の 専門 家 に 
相談 する か 、 シ ステ ム に より 悪影響 を 及ぼ す 
可能 性 の ある コミ ュ ニ ティ の メン バー か ら フ 
ィ ー ド バッ ク を 求め る 必要 が ある 。 
透明 性 の 文書 化 Al 開発 過程 の 後 の 段 階 で 作業 し て いる 担 
当 者 と 影響 評価 の 文書 化 を 共有 し 、 開 発 プ 
セス 全体 で リス ク と 潜在 的 な 予想 外 の 影 

















響 を 監視 で きる よう に する 。 





























説明 責任 と ガバ ナン ス 潜在 的 な ハイ リス ク AlI シ ステ ム に つい て 、 上  「 高 リス ク 」 と 見 な され る シス テム の 影響 評 
級 管理 職 が 十分 に 説明 を 受け て いる こと を 価 の 文書 化 は 、 上 級 管 理 職 と 共有 し て 、「 実 







































































































































































確認 する 。 行 / 実行 し な い 」 意 思 決 定 を 促進 する 必要 
が ある 。 
影響 評価 デー タ の 来歴 の 記録 を Al モデ ル の 訓練 に 使用 され る デー タ の 「 ds は 次 の も の を 含め る 必要 が ある 。 
維持 する 作成 ]」 を 可能 に する た め の 十 分 な 記録 を 維 デー タ の ソー ス 
持 し 、 そ の 結 果 が 再 oa Al A E で ある こと を 確 > 























== タタ の 由来 (作成 者 は 誰か 。 時 期 は い 
認 す る 。 ま た 、 デ ー タ ソー ス に 対す る 材料 の つか 。 目 的 は 何 か 。 ど の よう に 作成 され た 


更新 を 監視 する 。 


・ デー タ お よび デー タ ガ バ ナン ス 規 則 の 使 

的 お よび / ま た は 制限 デー タ を 所 有 す 

法人 は どこ か 。 ど の くら い の 期 間 保 管 す 

か (また は 破棄 する 必要 が ある か )。 使 

こ 制 限 は ある か 。 

・ 判明 し て いる デー タ の 制限 (エレ メン ト の 
TEE) 

・ デー タ が サン プリ ング され た 場合 、 ど の よ 
DINA AAN 

・ デー タ は 更新 され る か 。 そ の 場合 、 バ ー ジ 

ン は 記録 され る か 。 




















































































































N N 









































20 BSA | The Software Alliance 

















バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 





実装 に 関す る コメ ント 


影響 評価 (i=) デー タ に 潜在 的 な バイ デー タ を 精査 し て 過去 の バイ アス を 確認 デー タ の ソー ス を 確認 し 、 過 去 の バイ アス が 


























アス が な いか 確認 する する 。 含ま れる 可能 性 に つい て 評価 する 。 































































































デー タ の 「 典 型 性 」 を 評価 する 。 ・ 訓練 デー タ に お ける 人 口 分 布 を 、 シ ステ ム 
を 導入 する 集団 の それ と 比較 する 。 
・ シス テム を 利用 する 可能 性 の ある 下位 集 
団 に つい て 説明 する デー タ が 十分 に ある 
か を 評価 する 。 






















































































デー タ の ラベ リン グ 方 法 を 精査 する 。 ・ デー タ の ラベ ル 付 け を 行う 担当 者 と プ 
セス を 文書 化す る 。 

・ 第 三 者 デー タ に つい て は 、 潜 在 的 な バイ 

アス 原因 に つい て の ラベ ルリ ング (お よび 





























































































































関連 の 方 法 ) を 精査 する 。 
リス ク 軽 減 を 文書 化 バイ アス を 軽減 する た め に 、 デ ー タ が 増強 、 
する 操作 、 ま た は リバ ラン ス さ れ た か 、 ま た その 
方 法 を 文書 化す る 。 
リス ク 軽 減 の ベ 独立 性 と 多様 性 デー タ セ ッ ト の 細か な 調査 を 容易 に する た デー タ に お いて バイ アス の 原因 と な りう る 問 
スト ・ プ ラク ティ ス め 、 デ ー タ レビ ュー チー ム に は それ ぞ れ の 分 題 を 効果 的 に 特定 する に は 、 幅 広い 専門 性 
野 に お ける 専門 性 や 経験 の 観点 に お いて 、 や 経験 が 必要 に な る (デー タ が 引用 され る 領 
多種 多様 な 担当 者 を 含め る 必要 が ある 。 域 に つい て 京 知 し て いる こと 、 歴 史 的 な 背 









































や 、 そ の 原因 と な っ た 制度 に つい て の 深い 知 
識 を 持っ て いる こと な ど )。 社 内 担当 者 が 多 
様 性 に 欠け る 場合 、 第 三 者 の 専門 家 ま た は 
影響 を 受け る 可能 性 の ある 利害 関係 者 グル 
ー プ と の 協議 が 必要 に な る 可能 性 も ある 。 






















































































AA 的 な 訓練 デー タ セ ッ ト の バラ ンス を 改善 する 
と ど ぐ 代表 性 を 向 寺 まざる きき と が ぐ きる 。 


非典 型 デー タ の リバ ラ 追加 デー タ に よる リバ ラン ス を 検討 する 。 状況 に よっ て は 、 追 加 デ ー タ を 収集 し て 全体 


























合成 デー タ に よる リバ ラン ス を 検討 する 。 不 均衡 な デー タ セ ッ ト は 、 説 明 が 不 十分 な グ 
WA OT NN We ide 
る こと で 、 リ バラ ンス で きる 可能 性 が ある 。 一 
般 的 な オー バー サン プリ ング 手法 は 、 合 成 マ 
イノ リティ オー バー サン プリ ング 法 (Synthetic 
Minority Oversampling Technique/SMOTE) 
で ある 。 こ の 手法 で は 、 説 明 が 不 十分 な グル 
ー プ か ら 新 し い 「 合 成 | デ ー タ が 生成 され る 。 
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実装 に 関す る コメ ント 


リス ク 軽 減 の べ デー タ の ラベ リン グ 客観 的 で 数 値 評価 が 可能 な ラベ リン グ 方 ・ ラベ リン グ バ イア ス の 可能 性 を 軽減 する 

スト ・ プ ラク ティ ス 針 を 定め る 。 た め 、 デ ー タ の ラベ リン グ 担 当 者 に は 、 個 

GEE 々 の ラベ リン グ 判 断 の た め の 客 観 的 で 反 
復 可能 な プロ セス を 定め た 明確 な 方 針 
与え る 必要 が ある 。 










































































・ バイ アス の リス ク が 高い 領域 で は 、 ラ ベリ 
ング 担当 者 が 十分 な 専門 知識 を 持ち 、 港 

在 的 な 無意識 の バイ アス を 認識 する た め 
の トレ ー ニ ング を 受け る 必要 が ある 。 

0 PAURA AT o 、 
ラベ リン グ の 精度 を 監視 する た め の 品 質 

尿 証 の 仕組 み を 設け る 必要 が ある 。 

























































































説明 責任 と ガバ ナン デー タラ ベリ ング プロ セス を 包括 的 な デー 組織 の デー タ 戦 略 を 確立 する こと で 、 デ ー タ 
タ 戦 略 に 統合 する 。 評価 を 一 買 し て 行う こと が で きる 。 ま た 、 デ ー 








タタ を 精査 する た め の 企 業 の 取り 組み が 将来 
の 参照 用 に 確実 に 文書 化 さ れる こと で 、 作 業 













































































の 重複 を 防ぐ こと が で きる 。 

設計 : リ スク 軽減 ツー ル と 参照 資料 

プロ ジェ クト の 概念 デー タ 編 集 

・ Aequitas Bias and Fairness Audit Toolkit (Aequitas “17 FP ・ Datasheets for Datasets (デー タダ セッ た の た め の デ ー タ シー ルリ 
ECO Y—W¥y hb) Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer 
Pedro Saleiro. Abby Stevens, Ari Anisfeld、 お よび Rayid Ghani, Wortman Vaughan, Hanna Wallach, Hal Daume III, Kate 
シカ ゴ 大 学 デー タ 科 学 ・ 公 共 政 策 セ ンタ ー(2018 年 )、http://www. Crawford, arXiv: 1803.09010v7, (202023919 A). https://arxiv.org/ 
datasciencepublicpolicy.org/projects/aequitas/) abs/1803.09010 

* Diverse Voices Project | A How-To Guide for Facilitating ・ Al FactSheets 360 (4/ フ ァ ク トシ ー ム 36 の ) 
Inclusivenss in Tech Policy ( 多 議 な 所 プロ ジェ クル / GEE IBM Research, https://aif360.mybluemix.net/ 





FERMBPFUL-—DNGY—-AAF) 

Lassana Magassa, Meg Young お よび Batya Friedman、 ワ シン トン 大 
学 技術 政策 研究 所 、https://techpolicylab.uw.edu/projec/diverse- 
voices/ 
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バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 




















Taj sx 



















































































































































































影響 評価 特徴 選択 お よび エン ジ 特徴 選択 お よび が エン ジニ アリ ング プロ セ 特徴 選択 また は エン ジニ アリ ング 選択 が 、 暗 
ST WYP 7 OERKES 中 に 行わ れ た 選択 の 根拠 を 文書 化し 、 モ デ 黙 の バイ アス が ある 仮定 に 基づく か どう か 
書 化 する ル の 性 能 へ の 影響 を 評価 する 。 を 確認 する 。 
選択 し た 特徴 と セン シテ ィ ブ な 人 口 属性 と セン シテ ィ ブ な クラ ス に 密接 に 相関 する 特徴 
の 潜在 的 な 相関 関係 を 文書 化す る 。 に つい て は 、 目 標 a OS 
デル に 含め る 理 LETS. 






































モデ ル 選 択 プ ロ セ ス を 選択 し た モデ ル ア プ ロー チ の 根拠 を 文 
文書 化す る 化す る 。 














中 























選択 し た アプ ロー チ の 仮定 と その 結果 生じ 













































































る 可能 性 の ある 制限 を 特定 し 、 文 書 化し 、 お 

よび 正当 化す る 。 
リス ク 軽 減 の べ 特徴 選択 バイ アス が ある プロ キシ 特徴 を 確認 す ・ セン シテ ィ ブ な 属性 を シス テム へ の 入力 
スト ・ プ ラク ティ ス Al する こと を 避け る だ け で は (「 






































況 の 公平 性 ] と し で 知ら れる アデ 一 

チ )、 バ イア アス の リス ク を 軽減 する 効果 的 
TE DSP eR te TA 
な 特性 が モデ ル か ら 明 ら か に 除外 され て 
いる 場合 で も 、 他 の 変数 が これ ら の 特性 
の プロ キシ と し て 機能 で き 、 シ ステ ム に バ 
イア ス を も た ら す 。 プ ロキ シバ イア ス の リ 
スク を 回 避 す る た め に 、Al 開 発 者 は モデ 
ル の 特徴 と 保護 され た 特性 の 潜在 的 な 
関係 を 確認 し 、 こ れ ら の プロ キシ 変数 が モ 
デル の 出力 で 果たす 役割 を 確認 する 必 
要 が ある 。 

・ Al 開発 者 が セン シテ ィ ブ な 属性 デー タ に 
アク セス で き な い 場合 お よび / ま た は その 
よう な デー タ を 推測 する こと が 禁止 され て 
いる 場合 は 、 特 徴 と セン シテ ィ ブ 属性 と の 
間 の 統計 的 な 関係 を 確認 する 能力 が 制限 
され る 場合 が ある 。22 こ の よう な 状況 で は 
ドメイン 専門 家 に よる より 包括 的 ヵ な 分 析 
が 必要 に な る 場合 が ある 。 
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バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 




















fon sx 











































































































リス ク 軽 減 の べ 特徴 選択 セン シテ ィ ブ 属性 に 相関 する 特徴 を 詳細 ・ セン シテ ィ ブ 属性 に 相関 する こと が 知ら れ 

スト ・ プ ラク ティ ス に 調べ る 。 て いる 特徴 は 、 シ ステ ム の 目標 変数 と 強 

GEE) い 論 理 的 な 関係 が ある 場合 に の み 使 用 す 
べき で ある 。 








・ た と えば 、 所 得 は 性 別 と 相関 し て いる が 、 

ー ン の 返済 能力 と も 合理 的 に 関連 し て 
いる 。 し た が っ て 、 信 用 力 の 評価 を 目的 と 
し た Al シス テム で 所 得 を 用 いる こと は 正 
当 化 さ れる 。 一 方 、 信 用 力 を 予測 する モデ 
ILC, FACS ERIE RET AHO Z| 
を 使用 する こと は 、 セ ン シ テ ィ ブ 特性 に 密 
接 に 相関 する 変数 を 不適 切 に 使用 する こ 
AA 





























































































































































































































独立 性 と 多様 性 ドメイン 固有 の 専 門 知識 を 持つ 多様 な 関 特 


Hey = FW Ya ee Alias, Sr な 
係 者 か ら の フィ ー ド バッ ク を 求め る 。 


の トレ ー ニ ング に 使用 され る デー タ の 歴史 
的 、 法 的 、 社 会 的 側面 に つい て 、 多 様 な 経験 
































































































































と 専門 知識 を 持つ 担当 者 に よっ て 情報 を 与 
えら れる 必要 が ある 。 
モデ ル 選 択 バイ アス の リス ク と 潜在 的 影響 の 両方 が 高 より 解析 し や すい モデ ル を 使用 する と 、 問 題 
い 状 況 で は 、 不 明瞭 な モデ ル を 避け る 。 の 特定 と 削減 が 容易 に な り 、 意 図 し な い バ イ 
アス の リス ク が 軽減 され る 。 




























































































影響 評価 検証 プロ セス を 文書 化 シス テム (お よび 個々 の 要素 ) が どの よう に 
する 検証 され 、 設 計 目 標 お よび 意図 する 導入 シ 
ナリ オ と 一 致し て 実行 され て いる か を 評 人 





























する 方 法 を 文書 化す る 。 























検証 プロ セス を ヌ 






































化す る 。 ・ モデ ル の 定期 的 な 再 検証 の 周期 を 確立 
Gras 

・ 周期 外 の 再 検証 を 行う 性 能 基準 を 確立 

EAs 
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tt 














INE SE E デ ル の 性 能 を 評価 し て 文書 化す る こと テス ト で は 、 設 計 フ ェ ー ズ で 特定 され た 公平 
化す る で 、 バ イア ス が な いか シス テム を テス ト す 性 の 数 値 基 準 を 取り 入れ 、 モ デル の 正確 性 
る 。 と エラ ー 率 を 属性 グル ー プ 全体 で 確認 する 

必要 が ある 。 










































































テス ト の 実施 方 法 、 公 平 性 の 数 値 基 準 の 評 























































































































方 法 、 お よび その 評価 基準 が 選択 され た 
理由 を 文書 化す る 。 
モデ ル 介 入 を 文書 化す る テス ト に よっ て 許容 で き な い レベ ル の バイ ア 
ス が 明らか に な っ た 場合 は 、 モ デル を 改良 す 
る た め の 取 り 組み を 文書 化す る 。 
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バイ アス に 挑む :AIl の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 




















fon sx 





化し た バイ アス に 対処 す 選択 し た 公平 性 の 数 値 基準 に 基づい て 、 シ 
モデ ル の 改 oa を 評 人 1 テム が 許容 で き な い レベ ル の バイ アス を 
示し て いる こと が テス ト に よっ て 明らか に な っ 
た 場合 は 、 モ デル を 改良 する 必要 が ある 。 次 
の よう な モデ ル の 改良 が 可能 で ある 。 
・ 処理 前 介入 : こ の よう な 改良 に は 、 設 計 
お よび 開発 ライ フサ イク ル の 初期 段階 を 
SEFC (eva er ais aor eee 
ま 、 追 加 の 訓練 デー タ を 探す こと )。 


・ 処理 中 介入 : バ アス は 、 モ デル に 追加 
Ow F 性 の 制 Week > える こと で 軽減 
する こと も で きる 。 従 来 の 機械 学習 モデ ル 
は 、 予測 精 Eiger kg る よう ! こ 設計 され 
て いる 。 開発 者 は 、 新 し い 手 法 を 使用 し て 

こ 制 約 を 構築 し し グル ー プ 間 の バ 
アス の 可能 性 を 低減 する こと が で きる 。 

公平 性 の 制約 を 追加 すれ ば 、 実 際 に 、 正 

確 性 と 特定 の 公平 性 の 数 値 基 準 の 両方 
を 最適 kg aed) こ モ デル に 指 2 GE 

・ 処理 後 介入 : 場 、 目 的 の 分 布 
に 従わ せる た め 、 a 
作 す る 処理 後 ア ル ゴ リ ズム を 使用 し て バ 
イア ス に 対処 で きる 。 















































リス ク 軽 減 の べ モデ ル 介 入 
スト ・ プ ラク ティ ス 








FAIRE 
る た め に 、 
OS 

































































































































































































































































ala 
















































































独立 性 と 多様 性 検証 お よび テス ト の 文書 化 は 、 シ ステ ム の 
開発 に 関与 し な か っ た 担当 者 が 見 直す 必 
要 が ある 。 





Ava — AON. AR AS 
設計 お よび 開 E 
LEA IERE 





ト の 結果 を 、 
セス の 初期 段階 で 作成 
比較 する 必要 が ある 。 

























































































開発 : リ スク 軽減 ツー ル と 参照 資料 


・ Model Cards for Model Reporting (モデ ルレ が デー た の た め の ぞ デ 
ルカ ー ド ) 
Margaret Mitchell、 Simone Wu、Andrew Zaldivar、 Parker Barnes、Lucy 
Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji、 お 
よび Timnit Gebru、2019 年 公平 性 ・ 説 明 責 任 ・ 透 明 性 に 関す る 会 議 議 
BSR, (20194F 1A) :220-229 、 https://arxiv.org/abs/1810.03993 


Al Factsheets 360 (4/ フ ァ ク ムシ ー ム 36 の 


e Aequitas Open Source Bias Audit Toolkit (Aequitas+— 7 Y 
-RNAPREBY—N¥ 7b) 
Pedro Saleiro、Abby Stevens, Ari Anisfeld、 お よび Rayid Ghani, 
シカ ゴ 大 学 デー タ 科 学 ・ 公 共 政 策 セ ンタ ー、(http://www, 
datasciencepublicpolicy.org/projects/aequitas/ ) 



























































shal 





FairTest: Discovering Unwarranted Associations in Data- 
Driven Applications (FEF R R:7—A4EBDP7YUI— 3-0 


Aleksandra Mojsi 











ovic、IBM Research (201884 22 








), https://www. 





FRIO BLE EE) 


ibm.com/blogs/research/2018/08/factsheets-ai/ 


Al Explainability 360 (AI HB FTRERES6O) 
BM Research, https://aix360.mybluemix.net/ 


Al Fairness 360 (AI2)-F 14360) 
BM Research, https://aif360.mybluemix.net/ 


Responsible Machine Learning with Error Analysis (エラ ー 分 
MULHER F E) 

Besmira Nushi, Microsoft Research(2021 年 2 月 18 日 )、https:// 
echcommunity.microsoft.com/t5/azure-ai/responsible-machine- 
earning-with-error-analysis/ba-p/2141774 
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Florian Tramer、Vaggelis Atlidakis. Roxana Geambasu, Daniel 
Hsu, Jean-Pierre Hubaux, Mathias Humbert, Ari Juels お よび Huang 
Lin, arXiv, (2015€), https://github.com/columbia/fairtest。 





Bayesian Improved Surname Geocoding (S41FHEIL DRAE 


BFII1-7129) 
































者 金融 保護 局 (2014 年 )、 https://files. 





consumerfinance. 





gov/t/201409 cfpb_report_proxy-methodology.pdf 











バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 




















導入 と 使用 


影響 評価 責任 体系 を 文書 化す る _ シス テム の 出力 と その 結果 を 担当 する 担当 



































者 を 定義 し 文書 ESA le は 必要 =D 
じ て シ ステ ム の 決定 を 見 直す 方 法 の 詳細 
も 含ま れる 。 






























































イン シ デ ン ト の 可能 性 や シス テム エラ ー シス テム 障害 が 発生 する と どう な り 、 障 
の 報告 に 対応 する た め の 管理 計画 を 確立 害 に よっ て 誰が 被害 を 受け る 可能 性 が あ 
Ais ae 


障害 は どの よう に 検出 され る か 。 


・ 障害 が 検 由 され た 場合 、 誰 が 障害 に 対応 
Leech, 


・ シス テム を 安全 に 無効 に で きる か 。 


・ 重要 な 機能 を 継続 する た め の 適切 な 計画 
は ある か 。 








































































































7 EGO? Ore 生産 デー タ ( シ ステ ム の 導入 時 に 検出 され 

を 文書 化す る る 入力 デー タ ) が 訓練 デー タ と 大 きく 異な る 
か どう か を 評価 する た め に 用 いる プロ セ 
と 数 値 基準 を 文書 化す る 。 


モデ ル 人 性 能 を 監視 する 静 的 モデ ル の 場合 は 、 性 能 の oes 
セス を 文書 化す る ー の 種類 を 時 間 の 経過 と と も に 監視 する 方 
法 と 、 見 直し を 行う 基準 を 文書 化す る 。 



















































































































































































時 間 の 経過 と と も に 変化 する モデ ル の 場 
合 は 、 変 更 の 一 覧 化 方 法 、 バ ー ジ ョ ン の キ 
ャ プチ ャ と 管理 方 法 、 性 能 レ ベル の 監視 方 
法 ( ス ケ ジ ュ ー ル 化 さ れ た 見 直し の 周期 、 

周期 外 直し を 行う 性 能 指 標 な ど ) を 文書 


















































































































































































































































































































































監査 プロ セス と 生産 影響 評価 の 監査 を 受け る 周期 を 文書 化し 、 
終了 プロ セス を 文書 リス ク 軽 減 制御 が 目的 に 適合 し て いる か ど 
化す る うか を 評価 する 。 
シス テム サポ ー ト が 提供 され る 予定 の スク 
ジュ ー ル と 、 妥 当 な 性 能 し きい 値 を 下回っ た 
場合 1 る た め の プ ロ セ 
を 文書 化す る 。 
リス ク 軽 減 の ベ べ ドリ フト と モデ ル 劣 化 導入 中 に 検出 され た 入力 デー タ を シス テム 
スト ・ プ ラク ティ ス ORR の 訓練 デー タ の 統計 「 的 表 現 と 比較 し て 評価 
し 、 デ ー タ ドリ フト の 可能 性 を 評価 する こと 











が で きる (訓練 デー タ と 導入 デー タ の 間 の 
重大 な 相違 に より 、 モ デル の 性 能 が 低下 す 
る 可能 性 が ある )。 
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バイ アス に 挑む :Al の 信頼 性 構築 に 向け た BSA の フレ ー ム ワー ク 








導入 と 使用 


リス ク 軽 減 の べ 製品 の 特徴 と ユー ザー 製品 と ユー ザー イン タフ ェ ー ス 特徴 を 統合 
スト ・ プ ラク ティ ス インターフェース し て 、 予 測 可 能 な 意図 し な い 使用 の リス ク 
(hz) を 軽減 する 。 た と えば 、 人 間 参 加 型 の 要件 

































































を 強化 する イン タフ ェ ー ス 、 シ ステ ム が 誤 
され た 場合 に 通知 する 警告 な ど で あ る 。 






































シス テム の 文書 化 開発 者 a, 0 仕様 、 制 限 Al 開発 者 は 、 必 要 に 応じ て 、Al 導 入 者 に 独 
意図 する に 関す る 十分 な 文書 を し た 影響 評価 を 実施 する こと が で きる よう 
提供 し 、 ee に 関す る 独 技術 環境 を 提供 する こと も で きま す 。 
立 し た 影響 評価 を 実施 で きる よう に する 必 

要 が ある 。 








ta 
ロト 
















































































































































































エン ド ユ ー ザ ー 使 用 許諾 契約 書 に 、 予 見 可 
能 な 誤 使 用 を 防止 する た め の 制 限 事項 を 
定め た 条 A ene ae 
ンド ユー ザー が 利 に 準拠 する こと を 
Ae eee 


販売 お よび マー ケティング 資料 は 、 シ ステ 
ム の 実際 の 能力 と 合っ て いる こと を 保証 す 





























































































































































































































る た め 、 詳 細 に 検討 する 必要 が ある 。 
Al ユー ザー 研修 Al の 導入 者 は 、 シ ステ ム の 能力 と 制限 、 お よ NM fe 的 な リ 
び 出 力 を 評価 し て ワー ク に 統合 する スク 軽減 手段 に こ は 、AlI ユ ー ザ ー は 適切 
方 法 に つい て 、 Al ユー ザー に 研修 を 提供 す な 情報 と 5 Apres け て 、 シ ステ ム の 動 
る 必要 が あり ます 。 作 状 況 を 理解 し 、 モ デル の 出力 を 理解 する 
必要 が ある 。 























イン シ デ ン ト へ の 対応 Al の 導入 者 は 、 フ ィ ー ド バッ ク 機 構 を 維持 し 結果 の 決定 に お いて は 、 影 響 を 受け る 個人 
お よび フィ ー ド バッ ク て 、AlI ユ ー ザ ー と 影響 を 受け る 個人 (シス ラ に 異議 申し 立て の 手段 を 提供 する 必要 が 
機構 ム と や り 取 りす る 可能 性 の ある 一 般 の メン ある 。 
バー) が シス テム の 運用 に 関す る 懸念 を 報 
告 で きる よう に する 必要 が ある 。 





































































































導入 と 使用 : リ スク 軽減 ツー ル と 参照 資料 





・ Al Incident Response Checklist (4/ プ ン シ デ ン た 対応 チェ ッ ク グ スズ ・ Detect Data Drift on Datasets (デー タダ セッ た に お げ る デー タ た グフ 
F) hORH) 
BNH.AI, https://www.bnh.ai/public-resources Microsoft Azure Machine Learning (2020446254), https://docs. 




















microsoft.com/en-us/azure/machine-learning/how-to-monitor- 
datasets?tabs=python#create-dataset-monitors 





・ Watson OpenScale 
IBM, https://www.ibm.com/cloud/watson-openscale 
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向け た BSA の フレ ー ム ワー ク 


A Framework for Understanding Unintended 
Consequences of Machine Learning (#72 ORE 
と ん ない 毅 加 を 理解 する た あめ の フレ ー ム ワー ク ) 

Harini Suresh お よび John V Guttag、arXiv(2020 年 2 月 )、 
https://arxivorg/abs/1901.10002 























Al Fairness (AIZ\-F[#) 

Trisha Mahoney, Kush R.Varshney, Michael 

Hind, O'Reilly(2020 年 4 月 )、https://www oreillycom/ 
library/view/ai-fairness/9781492077664/ 




















Beyond Explainability: A Practical Guide to 
Managing Risk in Machine Learning Models (¿BJJ 
BEE EMEA TURF ER EF NCBIVB VAP BORE 
HA F) 

Andrew Burt, Brenda Leong, Stuart Shirrel、 お よび 
Xiangnong(George)Wang、 プ ライ バシ ー の 未来 フ 

ォ ー ラ ム (2018 年 6 月 )、https://fptorg/wp-conten/ 
uploads/2018/06/Beyond-Explainabilitypdf 


























Co-Designing Checklists to Understand 
Organizational Challenges and Opportunities around 
Fairness in Al (AIO AFEC] T SHI BITS BBE 
HAEBR TSE ODEMNBT FA FIGURA) 
Michael A. Madaio, Luke Stark, Jennifer Wortman 
Vaughan, Hanna Wallach、CHI2020:2020 年 CHI 人 と 情報 シ 

テム の 相互 作用 に 関す る 国際 会 議 議事 録 (2020 年 4 月 )、 
1-14, httos://doi.org/10.1145/ 3313831.3376445 
















































































Closing the Al Accountability Gap: Defining an End- 
to-End Framework for Internal Algorithmic Auditing 
(Al EIEDF + Y TEROZ: MEET TVZA OD 
HOODIA FIYI 7LAT-4D0E%) 

Raji I.D. Smart A.. White R. N., Mitchell M.、Gebru 

T. Hutchinson B.、Smith-Loud J., Theron D.、 お よび Barnes 
P, FAT" 2020: 2020 年 公平 性 ・ 説 明 責 任 ・ 透 明 性 に 関す る 会 
議 議 事 録 、(2020 年 1 月 ) :33-44、https://doi.org/10.1145/ 
3351095.3372873 



























































Supervisory Guidance on Model Risk Management 
ARA Aled SEF SBEALR YR) 

米国 連邦 準備 制度 理事 会 (2011 年 4 月 )、https://www. 
federalreserve. Se de DU pdf 

































































Understanding Artificial Intelligence Ethics and 
Safety: A Guide for the Responsible Design and 
Implementation of Al Systems in the Public Sector 
(人 工 初 能 の 倫理 と 安 会 族 の 理解 : 尾 奈 セ クタ ー に お ける Al 
VRILOBLHSRHBLORIEAN F) 

David Leslie、 ア ラン ・ チ ュー リン グ 研 究 所 (2019 年 )、https:// 
doi.org/10.5281/zenodo.3240529 
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注釈 


Gina Kolata, “Alzheimer’s Prediction May Be Found in 
Writing Tests,” (「 ア ルツ ハイ マー の 予測 は 筆記 試験 で 見 出さ 
れる 」) ニュ ー ヨ ー ク タプ ムズ (2021 年 2 月 1 日 )、https://www. 
nytimes.com/2021/02/01/health/alzheimers-prediction- 
speech.html 


















































Dina Temple-Raston, Elephants under Attack Have an 
UV Artificial Intelligence (WX 撃 を 愛 け た 祭 に は 意 介 
LK OBS: ALARE NPR(2019 年 10 月 25 日 )、 https:// 
www.npr.org/2019/10/25/760487476/elephants-under- 
attack-have-an-unlikely-ally-artificial-intelligence 























Seeing Al: An App for Visually Impaired People That 
Narrates the World Around You (Seeing Al: YD HERE 
BZGEBEO FOL DOT TY). Microsoft, https://www. 
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Kate Crawford, The Hidden Biases in Big Data (ビッ ク デ ー タ 
DENSA PAR) ハー バー ド ・ ビ ジネス ・ レ ビュ ー(2013 年 4 
月 1 日 )、 https://hbrorg/2013/04/the-hidden-biases-in-big- 
data 























Kate Crawford お よび Trevor Paglen, Excavating Al: The 
Politics of Images in Machine Learning Training Sets (AID 
HEA SE NL =P Y KO ROBCGF)20199F 
198). https://excavating.ai/ 























Cade Metz, [ “Nerd, ‘Nonsmoker,’ ‘Wrongdoer’: How Might 
A.l. Label You?” ([『 オ タク 』、『 禁 煙 者 』、『 非 行者 』:AlI は あな 
た に どん な レッ テル を 貼る か ?」) ニ ュー ヨー クタ イプ ム ズ (2019 
年 9 月 20 日 )、 https://wwwnytmes.com/2019/09/20/arts/ 
design/imagenet-trevor-paglen-ai-facial-recognition.html 
































microsoft.com/en-us/garage/wall-of-fame/seeing-ai/ 





た と えば 、Jennifer Sukis、 The Origins of Bias and How Al 
May Be the Answer to Ending lts Reign (バイ アス の 起源 お 
ECPOZIDAR OOPS ZORA DAICBSEEIL IU 
て?、Medium(2019 年 1 月 13 日 ) https://medium.com/design- 
ibm/the-origins-of-bias-and-how-ai-might-be-our-answer- 
o-ending-it-acc3610d6354 を 参照 の こと 。 





























た と えば 、Nicol Turner Lee、Paul Resnick、 お よび Genie 
Barton, Algorithmic Bias Detection and Mitigation: Best 
Practices and Policies to Reduce Consumer Harms (F/L 
YRLOANA FA ORR ABRO: EAS ELS SK 
DSRNA PAO FAR ET), プル ッ キ ング スズ (2019 年 5 月 22 
) httos://www.brookings.edu/research/algorithmic-bias- 
detection-and-mitigation-best-practices-and-policies-to- 
educe-consumer-harms/ を 参照 の こと 。 









































Harini Suresh お よび John V Guttag、 Understanding 
Unintended Consequences of Machine Learning (HAA 

の 意 認 ん な い 着 時 を 理解 すろ ため の フレ ー ム ワー クル (2020 年 2 
月 17 日 )、https://arxiv.org/pdf/1901.10002.pdf 


























Xiaolin Wu お よび Xi Zhang, Automated Inference on 
Criminality Using Face Images (AEREA | \7-ILFEFO 
ADE), 上 海 交通 大 学 (2016 年 11 月 13 日 )、 https://arxiv 
org/pdf/1611.04135v1.pdf を 参照 の こと 。 









































Blaise Aguera y Arcas, Margaret Mitchell, Alexander 
Todorov. Physiognomy's New Clothes (JŽ D% L R14) 
、Medium(2017 年 5 月 6 日 )、 https://medium.com/@blaisea/ 
physiognomys-new-clothes-f2d4b59fdd6a 


























Ziad Obermeyer, Brian Powers, Christine Vogeli, 
Sendhil Mullainathan, “Dissecting Racial Bias in an 
Algorithm Used to Manage the Health of Populations,” 
TF E BES BONE AN STN TIVRA BI 
DEN PROD) サイ エン ズ (2019109250), 
https: //science.sciencemag.org/content/366/6464/447 











Solon Barocas お よび Andrew D. Selbst, “Big Data's 
Disparate Impact,” (「 ビ ッ グ デー タ の 異な る 効果 」) ZY 
フォ ルニア 大 学 ロ ー・ と と ュー104、no.3(2016 年 9 月 30 日 ) 
:671 、 htto://www.californialawreview.org/wp-content/ 
uploadie/ 2016/06 nea 
































Joy Buolamwini お よび Timnit Gebru, “Gender Shades: 
Intersectional Accuracy Disparities in Commercial Gender 
Classification,” (「 ジ ェ ン ダー・ シ ェ ー ド : 商業 上 の ジェ ンダ ー 
誠に お ける 交差 的 正確 性 格差 ]) Machine Learning Research 
BERS (20184F) :77-91、http://proceedings.mlrpress/ 
v81/buolamwinil8a/buolamwinil8a.paf 
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Jessica Zosa Forde, A. Feder Cooper, Kweku Kwegyir- 
Aggrey, Chris De Sa, Michael Littman, Model Selection's 
Disparate Impact in Real-World Deep Learning Applications 
Ez THF に みる Y AR OY) リ ケ ー ウン コジ ンジ (Da 
FEETMERDE RENE) arXiv:2104.00606(2021 年 4 
月 1 日 )、 https://arxivorg/abs/2104.00606 






































Aaron Klein, Credit Denial in the Age of Al (AlFF(t OD MATE 
毅 和 人 ブル ッ キ ング ス 研 究 所 (2019 年 4 月 11 日 ) https://www. 
brookings.edu/research/credit-denial-in-the-age-of-ai/ 























J. Vaughn, A. Baral, M. Vadari “Analyzing the Dangers of 
Dataset Bias in Diagnostic Al systems: Setting Guidelines 
for Dataset Collection and Usage,” (「 診断 Al シス テム に お 
る デー タ セ ッ ト バ イア ス の 危険 性 の 分 析 : デ ー タ セッ ROUNS 
と 使用 の ガイ ドラ イン の 設定 ])、ACM 健 康 ・ 推 論 と 学習 に 関す 
る 会 議 、 2020 年 ワー クシ ョ ッ プ 、 http://juliev42.github.io/files/ 
CHIL_paper_bias.pdf 
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Arvind Narayanan, 21 Fairness Definitions and Their Politics 
(2021EL FIED EBL EDBCRF), ACMA FE: AE 
F EAE XESS SAB (20182318), https://www. 
youtube.com/watch?v=j|xluYdnyyk 




















Reuben Binns お よび Valeria Gallo. A/ Blog: Trade-Offs (AIZ 
ログ 人 レー が チン 英国 個人 情報 保護 監督 機関 (2019 年 7 月 
25 日 )、 https://ico.org.uk/about-the-ico/news-and-events/ 
ai-blog-trade-offs/ 


















































Inioluwa Deborah Raji, Closing the Al Accountability 
Gap: Defining an End-to-End Framework for Internal 
Algorithmic Auditing AUD Fr y TELEDS AN 
TIL TFTYIRLÆEEDEØDDITY YI ZLA! 
—I DEB), FAT* 2020: 2020 FAFE - AE EA 
JEBI I BABB AER (2020441) : 33-44、https://doi. 
org/10.1145/3351095.3372873 




















Sara Hooker, “Algorithmic Bias ls a Data Problem,” (| アル ゴ 
リズ ム バ イア ス は デー タ 問 題 で ある 」 を 乗り 越え て )、/g7e/77s、 
(2021 年 4 月 9 日 ) 、 https://www.sciencedirect.com/ 
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